<!DOCTYPE html>
<html xmlns:wb="http://open.weibo.com/wb">
<head>
  <meta charset="utf-8">
  <script src="https://cdn.jsdelivr.net/gh/Sanarous/files@1.13/js/linkcard.js"></script>
  <script>
(function(){
    var bp = document.createElement('script');
    var curProtocol = window.location.protocol.split(':')[0];
    if (curProtocol === 'https') {
        bp.src = 'https://zz.bdstatic.com/linksubmit/push.js';
    }
    else {
        bp.src = 'http://push.zhanzhang.baidu.com/push.js';
    }
    var s = document.getElementsByTagName("script")[0];
    s.parentNode.insertBefore(bp, s);
})();
</script>
<script>
var _hmt = _hmt || [];
(function() {
  var hm = document.createElement("script");
  hm.src = "https://hm.baidu.com/hm.js?fc9a8559a133f4d8ce784d69d6337bb0";
  var s = document.getElementsByTagName("script")[0]; 
  s.parentNode.insertBefore(hm, s);
})();
</script>

  
  <title>hadoop分布式安装及配置初步解析（坑坑不息） | 涂宗勋的博客</title>
  <meta name="baidu-site-verification" content="o8pWlgAEZ7" />
  <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1">
  <meta name="description" content="linux中hadoop的安装教程，网上也有不少了，例如我自己搭建过程中参考的这几篇：https:&#x2F;&#x2F;blog.csdn.net&#x2F;weixin_44198965&#x2F;article&#x2F;details&#x2F;89603788https:&#x2F;&#x2F;blog.csdn.net&#x2F;qq_25615395&#x2F;article&#x2F;details&#x2F;89083580https:&#x2F;&#x2F;juejin.im&#x2F;post&#x2F;68569848210598">
<meta property="og:type" content="article">
<meta property="og:title" content="hadoop分布式安装及配置初步解析（坑坑不息）">
<meta property="og:url" content="https://tuzongxun.gitee.io/2020/08/06/hadoop2/index.html">
<meta property="og:site_name" content="涂宗勋的博客">
<meta property="og:description" content="linux中hadoop的安装教程，网上也有不少了，例如我自己搭建过程中参考的这几篇：https:&#x2F;&#x2F;blog.csdn.net&#x2F;weixin_44198965&#x2F;article&#x2F;details&#x2F;89603788https:&#x2F;&#x2F;blog.csdn.net&#x2F;qq_25615395&#x2F;article&#x2F;details&#x2F;89083580https:&#x2F;&#x2F;juejin.im&#x2F;post&#x2F;68569848210598">
<meta property="og:locale" content="zh_CN">
<meta property="og:image" content="https://img-blog.csdnimg.cn/20200806162621464.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R1em9uZ3h1bg==,size_16,color_FFFFFF,t_70">
<meta property="article:published_time" content="2020-08-06T08:59:42.000Z">
<meta property="article:modified_time" content="2020-10-12T06:38:02.559Z">
<meta property="article:author" content="涂宗勋">
<meta property="article:tag" content="hadoop">
<meta name="twitter:card" content="summary">
<meta name="twitter:image" content="https://img-blog.csdnimg.cn/20200806162621464.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R1em9uZ3h1bg==,size_16,color_FFFFFF,t_70">
  
  
    <link rel="icon" href="/images/touxiang.png">
  
  
    
  
  
<link rel="stylesheet" href="/tzxblog/css/style.css">

  

<meta name="generator" content="Hexo 4.2.1"></head>

<body>
  <div id="container">
    <div id="wrap">
      <header id="header">
  <script src="https://tjs.sjs.sinajs.cn/open/api/js/wb.js" type="text/javascript" charset="utf-8"></script>
  <script src="https://cdn.jsdelivr.net/gh/Sanarous/files@1.13/js/linkcard.js"></script>
  <div id="banner"></div>
  <div id="header-outer" class="outer">
    
    <div id="header-inner" class="inner">
      <nav id="sub-nav">
        
        <a id="nav-search-btn" class="nav-icon" title="搜索"></a>
      </nav>
      <div id="search-form-wrap">
        <form action="//google.com/search" method="get" accept-charset="UTF-8" class="search-form"><input type="search" name="q" class="search-form-input" placeholder="Search"><button type="submit" class="search-form-submit">&#xF002;</button><input type="hidden" name="sitesearch" value="https://tuzongxun.gitee.io"></form>
      </div>
      <nav id="main-nav">
        <a id="main-nav-toggle" class="nav-icon"></a>
        
          <a class="main-nav-link" href="/tzxblog/">首页</a>
        
          <a class="main-nav-link" href="/tzxblog/shuoshuo/">说说</a>
        
          <a class="main-nav-link" href="/tzxblog/archives/">归档</a>
        
          <a class="main-nav-link" href="/tzxblog/collections/">导航</a>
        
          <a class="main-nav-link" href="/tzxblog/download/">资源</a>
        
          <a class="main-nav-link" href="/tzxblog/about/">简历</a>
        
      </nav>
      
    </div>
    <div id="header-title" class="inner">
      <h1 id="logo-wrap">
        <a href="/tzxblog/" id="logo">涂宗勋的博客</a>
      </h1>
      
        <h2 id="subtitle-wrap">
          <a href="/tzxblog/" id="subtitle">java程序员，现居武汉，CSDN博客https://blog.csdn.net/tuzongxun</a>&nbsp;&nbsp;&nbsp;&nbsp;
		  <!--<span id="busuanzi_container_site_pv">【本站累计访问量:<span id="busuanzi_value_site_pv"></span>】</span>-->
        </h2>
		
      
    </div>
  </div>
</header>
      <div class="outer">
        <section id="main"><article id="post-hadoop2" class="article article-type-post" itemscope itemprop="blogPost">
  <div class="article-meta">
    <a href="/tzxblog/2020/08/06/hadoop2/" class="article-date">
  <time datetime="2020-08-06T08:59:42.000Z" itemprop="datePublished">2020-08-06</time>
</a>
    
  <div class="article-category">
    <a class="article-category-link" href="/tzxblog/categories/hadoop/">hadoop</a>
  </div>

</span>
  </div>
  <div class="article-inner">
    
    
      <header class="article-header">
        
  
    <h1 class="article-title" itemprop="name">
      hadoop分布式安装及配置初步解析（坑坑不息）
    </h1>
  

      </header>
    
    <div class="article-entry" itemprop="articleBody">
      
        <!-- Table of Contents -->
        
        <p>linux中hadoop的安装教程，网上也有不少了，例如我自己搭建过程中参考的这几篇：<br><a href="https://blog.csdn.net/weixin_44198965/article/details/89603788" target="_blank" rel="noopener">https://blog.csdn.net/weixin_44198965/article/details/89603788</a><br><a href="https://blog.csdn.net/qq_25615395/article/details/89083580" target="_blank" rel="noopener">https://blog.csdn.net/qq_25615395/article/details/89083580</a><br><a href="https://juejin.im/post/6856984821059895303/" target="_blank" rel="noopener">https://juejin.im/post/6856984821059895303/</a></p>
<p>然而教程是不少，但或许是环境不一样，也或者思路不一样，所以参考实现的过程中总会发现这样那样的一些问题。<br>当然了，这些问题产生的原因很可能是每个人技术栈不一样，别人以为你应该知道的，实际你不知道，也就导致有些没说的细节就成了自己动手时的拦路虎。<br>所以，结合上边的几篇教程，再结合自己实际操作，我觉得还是可以记录一下的，万一刚好有看的人容易接受我的描述思路呢，那么这篇文章便有了更多的意义。</p>
<a id="more"></a>
<h2 id="解压"><a href="#解压" class="headerlink" title="解压"></a>解压</h2><p>上一篇<a href="https://blog.csdn.net/tuzongxun/article/details/107811747" target="_blank" rel="noopener">hadoop安装环境准备和关联知识解析</a>中，我已经下载好了安装包，所以这里只需要先解压一下：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">tar -zxvf hadoop-3.1.3.tar.gz</span><br></pre></td></tr></table></figure>

<p>分布式部署，应该是至少需要3台机的，所以我准备了3台，分别是192.168.139.9、192.168.139.19、192.168.139.29，都是centos6.5的虚拟机，分配内存1G。<br>要提一点的是，开篇三个链接的第三个，是我同事写的，他就遇到了虚拟机内存只分配了512M，结果运行时内存溢出。</p>
<p>三台机的部署，可以一个个的分别解压然后配置运行，也可以先只在一台机上解压并配置，之后运用上一篇提到过的scp等操作复制到其他两台机，我这里便选择一台机解压并配置，然后再复制到另外两台机的方式。</p>
<h2 id="配置"><a href="#配置" class="headerlink" title="配置"></a>配置</h2><p>基础的分布式模式搭建，主要是配置如下几个文件，这里说的基础就是以启动并检测运行状态成功为目标。</p>
<blockquote>
<p>hadoop-env.sh<br>core-site.xml<br>hdfs-site.xml<br>yarn-site.xml<br>mapred-site.xml<br>workers</p>
</blockquote>
<p>上边几个文件，都在hadoop安装目录下的<code>etc/hadoop</code>目录里边，例如我的安装目录是<code>/root/soft/bigdata/hadoop/hadoop-3.1.3</code>，则第一个文件的路径即<code>/root/soft/bigdata/hadoop/hadoop-3.1.3/etc/hadoop/hadoop-env.sh</code>。<br>有的教程里边可能就列了上边几个文件，但是实际操作的时候发现3.1.3版本实际还必须修改下边几个，否则也会启动失败，2.7版本可以不改。</p>
<blockquote>
<p>start-dfs.sh<br>stop-dfs.sh<br>start-yarn.sh<br>stop-yarn.sh</p>
</blockquote>
<p>上边几个文件换了个目录，在安装目录下的<code>sbin</code>目录中，这部分的配置我会放在执行<code>start-all.sh</code>启动失败时再讲。</p>
<h3 id="hadoop-env-sh"><a href="#hadoop-env-sh" class="headerlink" title="hadoop-env.sh"></a>hadoop-env.sh</h3><p>这个文件里目前就修改一下JAVA_HOME就可以了，如下：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">export JAVA_HOME&#x3D;&#x2F;root&#x2F;soft&#x2F;jdk1.8.0_261</span><br></pre></td></tr></table></figure>
<p>这里实际有个疑问，因为本身我的机器是配置全局的JAVA_HOME的，原本我想着直接里边写的<code>JAVA_HOME=$JAVA_HOME</code>应该能直接读取到系统环境变量的，但实际操作的时候并不是想象的这样，所以还必须改这个文件，指向jdk实际路径。</p>
<h3 id="core-site-xml"><a href="#core-site-xml" class="headerlink" title="core-site.xml"></a>core-site.xml</h3><figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br></pre></td><td class="code"><pre><span class="line">&lt;property&gt;</span><br><span class="line">	&lt;name&gt;fs.defaultFS&lt;&#x2F;name&gt;</span><br><span class="line">	&lt;value&gt;hdfs:&#x2F;&#x2F;master:9000&lt;&#x2F;value&gt;</span><br><span class="line">&lt;&#x2F;property&gt;</span><br><span class="line">&lt;property&gt;</span><br><span class="line">	&lt;name&gt;hadoop.tmp.dir&lt;&#x2F;name&gt;</span><br><span class="line">	&lt;value&gt;&#x2F;opt&#x2F;hadoop&#x2F;hadoopdata&lt;&#x2F;value&gt;</span><br><span class="line">&lt;&#x2F;property&gt;</span><br></pre></td></tr></table></figure>
<p>上述两个配置，需要加到<code>&lt;configuration&gt;</code>和<code>&lt;/configuration&gt;</code>中间，下边几个也都一样。</p>
<p>两个配置的含义，第一个我查了不少资料，目前还没找到准确的说明，留待后边一步步深入之后再来解释。<br>可以说的是，里边配置的master实际是机器的hostname，即<code>/etc/sysconfig/network</code>这个文件里的<code>HOSTNAME</code>的值，也可以是ip地址，这两个都亲测过，可用。<br>这里的master是我这样命名的，并不一定要叫这个。<br>还有一种说法是也可以配置域名，只不过一般情况下我们自己是用不上这个的，我没试，理论上应该也是可行的。<br>第二个配置，是指向一个临时的hadoop存储目录，有的教程说需要事先手动创建好，但实际操作的时候我并没有手动创建，而是执行后边的<code>hadoop namenode -format</code>时自动会创建，也就是说这里实际是可以指向一个不存在的目录的。</p>
<h3 id="hdfs-site-xml"><a href="#hdfs-site-xml" class="headerlink" title="hdfs-site.xml"></a>hdfs-site.xml</h3><figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line">&lt;property&gt;</span><br><span class="line">	&lt;name&gt;dfs.replication&lt;&#x2F;name&gt;</span><br><span class="line">	&lt;value&gt;3&lt;&#x2F;value&gt;</span><br><span class="line">&lt;&#x2F;property&gt;</span><br></pre></td></tr></table></figure>
<p>上边这个配置，看起来是副本集数量，但实际操作的时候我改变了数字，结果显示的活动节点数依然保持不变，所以又是需要后续理解的问题，这里只是照别人教程先依葫芦画瓢。</p>
<h3 id="yarn-site-xml"><a href="#yarn-site-xml" class="headerlink" title="yarn-site.xml"></a>yarn-site.xml</h3><figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br></pre></td><td class="code"><pre><span class="line">&lt;property&gt;</span><br><span class="line">	&lt;name&gt;yarn.nodemanager.aux-services&lt;&#x2F;name&gt;</span><br><span class="line">	&lt;value&gt;mapreduce_shuffle&lt;&#x2F;value&gt;</span><br><span class="line">&lt;&#x2F;property&gt;</span><br><span class="line">&lt;property&gt;</span><br><span class="line">	&lt;name&gt;yarn.resourcemanager.address&lt;&#x2F;name&gt;</span><br><span class="line">	&lt;value&gt;master:18040&lt;&#x2F;value&gt;</span><br><span class="line">&lt;&#x2F;property&gt;</span><br><span class="line">&lt;property&gt;</span><br><span class="line">	&lt;name&gt;yarn.resourcemanager.scheduler.address&lt;&#x2F;name&gt;</span><br><span class="line">	&lt;value&gt;master:18030&lt;&#x2F;value&gt;</span><br><span class="line">&lt;&#x2F;property&gt;</span><br><span class="line">&lt;property&gt;</span><br><span class="line">	&lt;name&gt;yarn.resourcemanager.resource-tracker.address&lt;&#x2F;name&gt;</span><br><span class="line">	&lt;value&gt;master:18025&lt;&#x2F;value&gt;</span><br><span class="line">&lt;&#x2F;property&gt;</span><br><span class="line">&lt;property&gt;</span><br><span class="line">	&lt;name&gt;yarn.resourcemanager.admin.address&lt;&#x2F;name&gt;</span><br><span class="line">	&lt;value&gt;master:18141&lt;&#x2F;value&gt;</span><br><span class="line">&lt;&#x2F;property&gt;</span><br><span class="line">&lt;property&gt;</span><br><span class="line">	&lt;name&gt;yarn.resourcemanager.webapp.address&lt;&#x2F;name&gt;</span><br><span class="line">	&lt;value&gt;master:18088&lt;&#x2F;value&gt;</span><br><span class="line">&lt;&#x2F;property&gt;</span><br></pre></td></tr></table></figure>
<p>上述配置具体含义也需要后续学习理解的过程中不断补充，里边的master同样的是主机名，也可以用ip，上边有过解释。而后边的端口，如果对比别的教程会发现很多都不一样，因此也是自定义的端口，作用应该就是hadoop启动时在这些端口上启动进程，所以保证和本机其他应用端口不冲突就好了。<br>需要先说一点的是，<code>yarn.resourcemanager.webapp.address</code>这个配置实际就是后边可以验证集群活动节点数的，可以再浏览器访问。</p>
<h3 id="mapred-site-xml"><a href="#mapred-site-xml" class="headerlink" title="mapred-site.xml"></a>mapred-site.xml</h3><figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line">&lt;property&gt;</span><br><span class="line">	&lt;name&gt;mapreduce.framework.name&lt;&#x2F;name&gt;</span><br><span class="line">	&lt;value&gt;yarn&lt;&#x2F;value&gt;</span><br><span class="line">&lt;&#x2F;property&gt;</span><br></pre></td></tr></table></figure>
<p>上边的配置仅从字面看，似乎很好理解，但实际作用依然还不是特别明了，只知道默认的是local，这里需要改成yarn，也要留到后边再多看下官网文档以及其他资料再做理解。</p>
<h3 id="workers"><a href="#workers" class="headerlink" title="workers"></a>workers</h3><p>这个文件，我的理解是配置副本节点，这个才会真的影响到后边看到的活动节点数量，而不是上边的<code>dfs.replication</code>。<br>这个文件在2.7版本的hadoop中叫slaves，在3.1.3版本中叫workers，我这里的配置如下：</p>
<blockquote>
<p>#localhost<br>node01<br>node02</p>
</blockquote>
<p>上边文件默认有一行localhost，所以可能有的人单机运行伪分布式模式时，会发现不改这里似乎也可以，因为本身都是本机，都指向了<code>localhost</code>，亦<code>127.0.0.1</code>。<br>我这里配置的两个，分别是192.168.139.19和192.168.139.29的hostname，这里要注意的是，似乎必须是hostname，并且要做host映射，即修改<code>/etc/hosts</code>文件，我这里三台机配置如下：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><span class="line">192.168.139.19 node01</span><br><span class="line">192.168.139.29 node02</span><br><span class="line">192.168.139.9 master</span><br></pre></td></tr></table></figure>
<p>原本我想着这里只是一个映射关系，那么是不是可以改成和hostname不一样的虚拟域名，反正都是要配置hosts的，但是实际上把配置改成和hostname不一样时，后边启动就有问题，执行<code>start-all.sh</code>时，两个从节点怎么都启动不了。<br>如上边的配置，我的workers里配置了两个节点，那么后续启动以后在web界面就会看到两个活动节点，如果这里再加上主机名master，则后续web界面就能看到三个活动节点。</p>
<h2 id="配置hadoop环境变量"><a href="#配置hadoop环境变量" class="headerlink" title="配置hadoop环境变量"></a>配置hadoop环境变量</h2><p>有了上边的配置，已经几近于大功告成了，可以直接到hadoop安装目录的bin目录以及sbin目录执行各种操作。<br>但是为了更加方便，为了随便哪个目录下都能方便的执行hadoop相关命令，就需要再配置一下hadoop的环境变量，配置方式和JAVA_HOME、REDIS_HOME如出一辙：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line">export HADOOP_HOME&#x3D;&#x2F;opt&#x2F;hadoop&#x2F;hadoop</span><br><span class="line">export PATH&#x3D;$HADOOP_HOME&#x2F;bin:$HADOOP_HOME&#x2F;sbin:$PATH</span><br></pre></td></tr></table></figure>
<p>注：上边的配置，实际上分为永久配置和临时配置，临时配置即直接在bash命令行一次执行上边的操作，这里在当前运行阶段，也有说是当前登录会有效，机器重启就没了。永久配置，则要把上述代码放到<code>/etc/profile</code>文件中，然后执行<code>source /etc/profile</code>，所以上边的环境变量配置最好就是修改文件，我也是这样做的。</p>
<h2 id="格式化（初始化）"><a href="#格式化（初始化）" class="headerlink" title="格式化（初始化）"></a>格式化（初始化）</h2><p>环境变量之后，就算是纯安装阶段最后一步操作了，需要在主节点执行格式化操作，看起来更像是初始化。</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">hadoop namenode -format</span><br></pre></td></tr></table></figure>
<p>上边的操作基于hadoop环境变量的配置，如果没有配置环境变量，或者配置有问题，可能提示hadoop命令找不到。<br>这个操作，就会初始化<code>core-site.xml</code>中配置的<code>hadoop.tmp.dir</code>目录，我这里就是<code>/opt/hadoop/hadoopdata</code>，原本是不存在这个目录的，执行了上边命令后就会自动创建，并且里边会生成一些子目录及文件。<br>这里要说的是，有的教程说几个节点都需要把这里边的内容复制过去，但是我并没有复制，目前看来似乎没有影响。<br>还有说法是里边有一个VERSION文件，里边的<code>clusterID</code>、<code>datanodeUuid</code>、<code>storageID</code>会影响到web界面看到的活动节点数量，我没有复制，也没有生成，似乎也没有影响看到的数量。</p>
<h2 id="启动hadoop集群（此处有坑）"><a href="#启动hadoop集群（此处有坑）" class="headerlink" title="启动hadoop集群（此处有坑）"></a>启动hadoop集群（此处有坑）</h2><p>至此，照葫芦画瓢式的搭建算是完成了，然后剩下的好像就是启动和验证，按照一些网上的教程，就是执行<code>start-all.sh</code>启动，然后执行<code>jps</code>查看启动情况，于是我便在执行了上述<code>hadoop namenode -format</code>命令所在的机器中运行了启动命令：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">start-all.sh</span><br></pre></td></tr></table></figure>

<p>对于最开始2.7版本的，似乎就是这样了，执行上边命令就会提示要输入另外两台机的ssh密码，依次在提示的时候输入相应的机器登陆密码即可启动。<br>只是2.7版本我也只是走到了这一步，没有再进一步验证。</p>
<p>而为什么上边说好像是搭建完成，就剩启动和验证了呢，是因为3.1.3版本其实还没有搭建结束。<br>在执行上述命令时，会发现先抛出如下异常：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line">ERROR: Attempting to operate on yarn nodemanager as root</span><br><span class="line">ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.ls</span><br></pre></td></tr></table></figure>
<p>网上搜索之后发现是要配置一些user权限，于是就还需要修改开头提到的<code>start-dfs.sh</code>、<code>stop-dfs.sh</code>、<code>start-yarn.sh</code>、<code>stop-yarn.sh</code>这四个文件，在两个dfs.sh文件开头加入如下配置：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line">HDFS_DATANODE_USER&#x3D;root</span><br><span class="line">HADOOP_SECURE_DN_USER&#x3D;hdfs</span><br><span class="line">HDFS_NAMENODE_USER&#x3D;root</span><br><span class="line">HDFS_SECONDARYNAMENODE_USER&#x3D;root</span><br></pre></td></tr></table></figure>
<p>在两个yarn.sh文件中加入如下配置：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><span class="line">YARN_RESOURCEMANAGER_USER&#x3D;root</span><br><span class="line">HADOOP_SECURE_DN_USER&#x3D;yarn</span><br><span class="line">YARN_NODEMANAGER_USER&#x3D;root</span><br></pre></td></tr></table></figure>

<p>有了上边的配置，再次启动，会发现输出了如下的一些提示：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line">node02: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).</span><br><span class="line">node01: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)</span><br></pre></td></tr></table></figure>
<p>之后就结束了，没有像2.7一样提示让输ssh密码，同时，执行<code>jps</code>会发现本机显示的远不是其他资料所说成功的样子，而另外两台机执行<code>jps</code>后更是除了输出<code>jps</code>，啥都没有。<br>之所以这样，是因为3.1.3版本必须配置sshkey，2.7也可以这样做，但似乎不是强制，而3.1.3没有了选择。</p>
<h2 id="sshkey配置"><a href="#sshkey配置" class="headerlink" title="sshkey配置"></a>sshkey配置</h2><p>sshkey的作用就是在ssh连接的时候免密，互相配置公私钥进行交互，步骤如下：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><span class="line">ssh-keygen -t rsa</span><br><span class="line">cat id_rsa.pub &gt;&gt;  authorized_keys</span><br><span class="line">scp authorized_keys root@192.168.139.19:&#x2F;root&#x2F;.ssh&#x2F;authorized_keys</span><br></pre></td></tr></table></figure>
<p>第一行是在本机（我这里即192.168.39.9）生成公私钥，第二行是把公钥追加写入文件authorized_keys中，第三步是复制上边的authorized_keys文件到另一台机。<br>这里就会有一个问题，因为192.168.139.19机器还没有生成公私钥，所以是没有.ssh目录的，执行第三行机会提示目录或文件不存在，不知道是否所有linux系统内都这样。<br>因此更准确的做法是先依次在三台机生成自己的公私钥，第二步是把第一台机的公钥追加到authorized_keys文件，第三步是把authorized_keys复制到其他机器。<br>网上有人说需要把几台机的公钥都追加写入到一个文件，然后再复制到每台机，但是个人以为可以不用。<br>因为就目前实操来说，只有在namenode机器执行<code>start-all.sh</code>命令，才能正常启动其他机器，即便是按上边说的把几个公钥都追加到一个文件中，然后复制到每个机器，结果在非namenode节点执行启动命令时，会发现最终找不到<code>ResourceManager</code>。<br>只是，几乎所有文章都是这样说的，而我实际操作就不是这样，究竟是其他文章不太对，还是我刚好走了一条过程不对，结果看起来也对的路，这就不得而知了。</p>
<p>到这里，才算是真的配置搭建完成，再回到主节点执行<code>start-all.sh</code>启动，就会看到启动成功，然后执行jps验证几个节点，就会有如下的输出：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br></pre></td><td class="code"><pre><span class="line">[root@master hadoop]# jps</span><br><span class="line">52709 NodeManager</span><br><span class="line">52008 NameNode</span><br><span class="line">52329 SecondaryNameNode</span><br><span class="line">52589 ResourceManager</span><br><span class="line">53935 Jps</span><br><span class="line"></span><br><span class="line">[root@master ~]# jps</span><br><span class="line">1552 SecondaryNameNode</span><br><span class="line">1937 Jps</span><br><span class="line">1340 NameNode</span><br><span class="line">1789 ResourceManager</span><br></pre></td></tr></table></figure>

<p>不少教程到这里似乎就结束了，好像这样就代表成功了，然而并不是这样，这个只是看起来成功了，或者说只是单节点启动成功了而已。</p>
<h2 id="节点交互问题"><a href="#节点交互问题" class="headerlink" title="节点交互问题"></a>节点交互问题</h2><p>在上边<code>yarn-sit.xml</code>配置中，有如下一段：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line">&lt;property&gt;</span><br><span class="line">	&lt;name&gt;yarn.resourcemanager.webapp.address&lt;&#x2F;name&gt;</span><br><span class="line">	&lt;value&gt;master:18088&lt;&#x2F;value&gt;</span><br><span class="line">&lt;&#x2F;property&gt;</span><br></pre></td></tr></table></figure>
<p>这里是可以通过浏览器访问，然后看到节点运行情况的，但是我访问的时候却看到活动节点数是1，<br>而且就是执行启动命令的这个节点是活动的。（这里注意，虚拟机安装配的是虚拟域名，如果是外部物理机浏览器访问，需要在物理机的hosts中配置虚拟域名映射，否则访问不通）<br>这就是一个很尴尬的问题，于是通过查资料和日志，发现192.168.139.19和29日志里有这样的内容：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line">org.apache.hadoop.ipc.Client: Retrying connect to server: master&#x2F;192.168.139.9:18025. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries&#x3D;10, sleepTime&#x3D;1000 MILLISECONDS)</span><br><span class="line">ERROR org.apache.hadoop.yarn.server.nodemanager.NodeManager: RECEIVED SIGNAL 15: SIGTERM</span><br></pre></td></tr></table></figure>
<p>看起来就是连接不上yarn资源管理器，最终发现是因为hosts配置中，把master映射到了127.0.0.1，然后其他节点连接yarn资源管理器时就导致master转到127.0.0.1，然后就出现回环。<br>于是，把<code>/etc/hosts</code>里边127.0.0.1后边的master映射去掉，先执行<code>stop-all.sh</code>停止，再执行<code>start-all.sh</code>启动，然后再web界面便可以看到活动节点数不再是1了。<br><img src="https://img-blog.csdnimg.cn/20200806162621464.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R1em9uZ3h1bg==,size_16,color_FFFFFF,t_70" alt="在这里插入图片描述"></p>

      
    </div>
    <footer class="article-footer">
      <a data-url="https://tuzongxun.gitee.io/2020/08/06/hadoop2/" data-id="ckxn7cxg7001fkcvh5hmte8hi" class="article-share-link">分享</a>
      
      
      
  <ul class="article-tag-list" itemprop="keywords"><li class="article-tag-list-item"><a class="article-tag-list-link" href="/tzxblog/tags/hadoop/" rel="tag">hadoop</a></li></ul>

    </footer>
  </div>
  
    
  <div class="comments" id="comments">
    
     
       
       
      
      
	 
  </div>
 
    
 
<script src="/tzxblog/jquery/jquery.min.js"></script>

  <div id="random_posts">
    <h2>推荐文章</h2>
    <div class="random_posts_ul">
      <script>
          var random_count =5
          var site = {BASE_URI:'/tzxblog/'};
          function load_random_posts(obj) {
              var arr=site.posts;
              if (!obj) return;
              // var count = $(obj).attr('data-count') || 6;
              for (var i, tmp, n = arr.length; n; i = Math.floor(Math.random() * n), tmp = arr[--n], arr[n] = arr[i], arr[i] = tmp);
              arr = arr.slice(0, random_count);
              var html = '<ul>';
            
              for(var j=0;j<arr.length;j++){
                var item=arr[j];
                html += '<li><strong>' + 
                item.date + ':&nbsp;&nbsp;<a href="' + (site.BASE_URI+item.uri) + '">' + 
                (item.title || item.uri) + '</a></strong>';
                if(item.excerpt){
                  html +='<div class="post-excerpt">'+item.excerpt+'</div>';
                }
                html +='</li>';
                
              }
              $(obj).html(html + '</ul>');
          }
          $('.random_posts_ul').each(function () {
              var c = this;
              if (!site.posts || !site.posts.length){
                  $.getJSON(site.BASE_URI + 'js/posts.js',function(json){site.posts = json;load_random_posts(c)});
              } 
               else{
                load_random_posts(c);
              }
          });
      </script>
    </div>
  </div>

	
<nav id="article-nav">
  
    <a href="/tzxblog/2020/08/10/hadoop3/" id="article-nav-newer" class="article-nav-link-wrap">
      <strong class="article-nav-caption">上一篇</strong>
      <div class="article-nav-title">
        
          hdfs基础操作（命令行和java代码）
        
      </div>
    </a>
  
  
    <a href="/tzxblog/2020/08/05/hadoop1/" id="article-nav-older" class="article-nav-link-wrap">
      <strong class="article-nav-caption">下一篇</strong>
      <div class="article-nav-title">hadoop安装环境准备和关联知识解析</div>
    </a>
  
</nav>

  
</article>

</section>
           
    <aside id="sidebar">
  
    <!--微信公众号二维码-->


  
    

  
    
  
    
    <div class="widget-wrap">
    
      <div class="widget" id="toc-widget-fixed">
      
        <strong class="toc-title">文章目录</strong>
        <div class="toc-widget-list">
              <ol class="toc"><li class="toc-item toc-level-2"><a class="toc-link" href="#解压"><span class="toc-number">1.</span> <span class="toc-text">解压</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#配置"><span class="toc-number">2.</span> <span class="toc-text">配置</span></a><ol class="toc-child"><li class="toc-item toc-level-3"><a class="toc-link" href="#hadoop-env-sh"><span class="toc-number">2.1.</span> <span class="toc-text">hadoop-env.sh</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#core-site-xml"><span class="toc-number">2.2.</span> <span class="toc-text">core-site.xml</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#hdfs-site-xml"><span class="toc-number">2.3.</span> <span class="toc-text">hdfs-site.xml</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#yarn-site-xml"><span class="toc-number">2.4.</span> <span class="toc-text">yarn-site.xml</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#mapred-site-xml"><span class="toc-number">2.5.</span> <span class="toc-text">mapred-site.xml</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#workers"><span class="toc-number">2.6.</span> <span class="toc-text">workers</span></a></li></ol></li><li class="toc-item toc-level-2"><a class="toc-link" href="#配置hadoop环境变量"><span class="toc-number">3.</span> <span class="toc-text">配置hadoop环境变量</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#格式化（初始化）"><span class="toc-number">4.</span> <span class="toc-text">格式化（初始化）</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#启动hadoop集群（此处有坑）"><span class="toc-number">5.</span> <span class="toc-text">启动hadoop集群（此处有坑）</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#sshkey配置"><span class="toc-number">6.</span> <span class="toc-text">sshkey配置</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#节点交互问题"><span class="toc-number">7.</span> <span class="toc-text">节点交互问题</span></a></li></ol>
          </div>
      </div>
    </div>

  
    

  
    
  
    
  
    

  
</aside>

      </div>
      <footer id="footer">
  <script async src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script>
  
  <div class="outer">
    <div id="footer-left">
      &copy; 2016 - 2021 涂宗勋&nbsp; <a href="https://beian.miit.gov.cn/#/Integrated/recordQuery" target="_blank" rel="noopener">鄂ICP备20000142号</a> |&nbsp;&nbsp;
      主题 <a href="https://github.com/giscafer/hexo-theme-cafe/" target="_blank">Cafe</a>&nbsp;|&nbsp;&nbsp;
	  <span id="busuanzi_container_site_uv">本站有效访客数<span id="busuanzi_value_site_uv"></span>人</span>
	  <span id="busuanzi_container_site_pv" >| 总访问量 <span id="busuanzi_value_site_pv"></span> 次 </span>
	  <div style="width:300px;margin:0 auto; padding:20px 0;"><a target="_blank" href="http://www.beian.gov.cn/portal/registerSystemInfo?recordcode=42010302002171"style="display:inline-block;text-decoration:none;height:20px;line-height:20px;"><img src="http://www.tzxcode.cn/wp-content/uploads/2020/01/备案图标.png" style="float:left;"/><p style="float:left;height:20px;line-height:20px;margin: 0px 0px 0px 5px; color:#939393;">鄂公网安备 42010302002171号</p></a>
		 	</div>
    </div>
     <div id="footer-right">
      联系方式&nbsp;|&nbsp;1160569243@qq.com
    </div>
	
  </div>
</footer>
 
<script src="/tzxblog/jquery/jquery.min.js"></script>

 <script>
$(document).ready(function() {

    var int = setInterval(fixCount, 50);  // 50ms周期检测函数
    var countOffset = 20000;  // 初始化首次数据

    function fixCount() {            
       if (document.getElementById("busuanzi_container_site_pv").style.display != "none")
        {
            $("#busuanzi_value_site_pv").html(parseInt($("#busuanzi_value_site_pv").html()) + countOffset); 
            clearInterval(int);
        }                  
        if ($("#busuanzi_container_site_pv").css("display") != "none")
        {
            $("#busuanzi_value_site_uv").html(parseInt($("#busuanzi_value_site_uv").html()) + countOffset); // 加上初始数据 
            clearInterval(int); // 停止检测
        }  
    }
       	
});
</script> 
    </div>
    <nav id="mobile-nav">
  
    <a href="/tzxblog/" class="mobile-nav-link">首页</a>
  
    <a href="/tzxblog/shuoshuo/" class="mobile-nav-link">说说</a>
  
    <a href="/tzxblog/archives/" class="mobile-nav-link">归档</a>
  
    <a href="/tzxblog/collections/" class="mobile-nav-link">导航</a>
  
    <a href="/tzxblog/download/" class="mobile-nav-link">资源</a>
  
    <a href="/tzxblog/about/" class="mobile-nav-link">简历</a>
  
</nav>
    <img class="back-to-top-btn" src="/images/fly-to-top.png"/>
<script>
// Elevator script included on the page, already.
window.onload = function() {
  var elevator = new Elevator({
    selector:'.back-to-top-btn',
    element: document.querySelector('.back-to-top-btn'),
    duration: 1000 // milliseconds
  });
}
</script>
      

  

  







<!-- author:forvoid begin -->
<!-- author:forvoid begin -->

<!-- author:forvoid end -->

<!-- author:forvoid end -->



 
<script src="/tzxblog/js/is.js"></script>



  
<link rel="stylesheet" href="/tzxblog/fancybox/jquery.fancybox.css">

  
<script src="/tzxblog/fancybox/jquery.fancybox.pack.js"></script>




<script src="/tzxblog/js/script.js"></script>


<script src="/tzxblog/js/elevator.js"></script>

  </div>
</body>
</html>